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55 (54) Title: METHOD FOK ASSISTING THE USER OF A PIECE OF EQUIPMENT IN LOCATING A CONTROL ELEMENT 

=1§ (54) Bczeichnung: VERFAl-IRUN ZUR IWERSTOTZUNG EINES BED1ENERS FINES CERATES BEIM AUFFINDEN FI- 
NES B EDI EN ELEMENTS 

(57) Abstract: The invention relates lo a method lor assisting the user of a piece of equipment, particularly a vehicle, in locating a 
control element, whereby acoustic signals in the vicinity of the equipment, for example in the passenger compartment of the vehicle, 
are monitored by means of a speech recognition system on a search request from said user, regarding a control clement to be located. 
When such a search request is detected by the speech recognition system of a signalling control unit, a signal, perceptible to the 
user and indicating lo said user (he position of the control clement, is activated. Said signal can be an optical signal. In this case, a 
lighting device, preferably a backJi gluing, in the vicinity of the control clement is activated. Alternatively, a speech signal, stored in 
a memory and prepared for the corresponding control element, is activated. Ideally, a sensor for detecting the position of the user's 
hand can also be used. In this case, speech signals are produced, in order to indicate to the user how he should move his hand to 
reach the control clement. Vehicles can then be especially equipped with a sensor for monitoring the passenger compartment. 

(57) Zusammenfassung: Es win! ein Vcrfahren zur Untcrstutzung eines Bcdiencrs cines Gerates, insbesondere cincs Fahrzcugs, 
beim Auffindcn eines Bcdicnetcments vorgestellt, bci dem miltels eines Sprachcrkennungssy stems akustischc Signale im Nahberetch 
des Gerates, also bcispielsweisc im Inncnraum des Fahrzcugs auf eine Suchabfragc des Bcdiencrs hinsichllich cines aufzufindenden 
Bedienelcmcnts Uherwachi werden und hcim Erkcnnen einer solchcn Suchanfrage durch das Sprachcrkennungssystem von einer 
Signalisicrungsstcucrcinheil cine fur den Bcdicncr wahrnehmbare Signalisicrung aktiviert wird, die dem Bcdiencr die Position des 
Bedienelements anzeigt. Diese Signalisicrung kann optischcr An sein, in dem eine Beleuchlungseinrichtung im Nahbereich des 
Bcdienelcments. vnrzugsweisc die Hintcrgrundhelcuchtung aktiviert wird. Altcmativ wird ein in cinem Spcicher ahgclegtes und filr 
das jewcilige Bedienelemenl vorhcreitctcs S|irachsignal aktiviert. Resnndcrs bcvorzugl bictet sich jedoch zudem die Vcrwendung 
cines Sensors zur Erfassung der Position der Hand des Bedicners an, wohci in dicscm Fall Sprachsignale derail crzeugt werden, 
dass diese angeben. wie der Bedicner seine Hand hewegen muss, nm zum Bedienelemenl zu gelangen. DafUr kann in Fahrzeugen 
insbesondere ein I nncnraumUberwachungs sensor eenutzt werden. 
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5 Verfahren zur Unterstutzung eines Bedieners eines GerStes 

beim Auffinden eines Bedienelements 

Die Erfindung betrifft ein Verfahren zur Unterstutzung eines Bedieners eines Gerates 
beim Auffinden eines Bedienelements. 

Heutige und insbesondere auch zukunftige Fahrzeuge sowie andere zu bedienende Ge- 
10 rate, wie Fahrkartenautomaten Oder vergleichbare Selbstbedienungsautomaten weisen 
eine Vielzahl von Bedienelemente auf, die insbesondere fur ein mit diesem Gerat, bspw. 
Fahrzeugtyp nicht naher bekannten Bediener nicht immer selbsterklarend und aufgrund 
ihrer Vielzahl oft verwirrend sind. So werden in Fahrzeugen bspw. Bedienelemente zu- 
nehmend multifunktional ausgelegt und an den verschiedensten Positionen am Fahrzeug 
I 5 angeordnet, so dass ein Insasse eventuell sogar in sicherheitskritischen Verkehrssituati- 
onen mit der Suche eines Bedienelements abgelenkt wird. 

Aus diesem Grund werden bereits Spracherkennungssysteme angeboten, mit denen au- 
tomatisch bestimmte Bedienelemente des Fahrzeuges, insbesondere Wahlfunktionen 
des Telefons Oder des Radios durch Sprachbefehle des Bedieners an das Spracherken- 

20 nungssystem ersetzt werden, so dass der Insasse die entsprechenden Bedienelemente 
nicht mehr manuelle bedienen muss. Nachteil dieser sprachgesteuerten Systeme ist je- 
doch, dass diese aufgrund der hohen Komplexitat nur dafur geeignete und vorbereitete 
Anwendungsgruppen geeignet sind. Urn jedoch den Insassen, insbesondere in der Ken- 
nenlemphase des Fahrzeuges, beim Auffinden der Bedienelemente zu unterstOtzen. wird 

25 nachfolgendes Verfahren vorgeschlagen. Dieses Verfahren eignet sich auch fur die Un- 
terstutzung von Bedienern anderer Gerate beim Auffinden eines Bedienelements. 

Mittels eines Spracherkennungs systems werden die akustischen Signale im Nahbereich 
des Gerates auf eine Suchanfrage des Bedieners hinsichtlich eines aufzufindenden Be- 
dienelements uberwacht Dazu kann ein herkSmmliches Spracherkennungssystem die- 
30 nen. Beim Erkennen einer solchen Suchanfrage des Bedieners durch das Spracherken- 
nungssystem wind von einer Signafisierungssteuereinheit eine fQr den Bediener wahr- 
nehmbare Signalisierung aktiviert, die dem Bediener die Position des Bedienelements 
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anzeigt Hinsichtlich der fur den Bediener wahmehmbaren Signalisierong ergeben sich 
nun mehrere Moglichkeiten. 

So kann die Signalisierungssteuereinheft eine Beleuchtungseinrichtung im Nahbereich 
des Bedienelements aktivieren. insbesondere die Hintergrundbeleuchtung des jeweils 
5 gesuchten Bedienelements, beispielsweise in einen blinkenden Betriebszustand for eine 
vorgegebene Zeitspanne schalten. 

Alternate dazu bietet sich die Ausgabe eines vorbereiteten Sprachsignals an, welches 
die Position des entsprechenden Bedienelements beschreibL 

In einer besonders bevorzugten Weiterbildung wird jedoch zusatzlich mittels eines Sen- 
10 sor.s die Position der Hande des Bedieners erfasst und Sprachsignale derart erzeugt, 
dass diese angeben, wie der Bediener seine Hande bzw. eine der Hande bewegen muss, 
urn zum gesuchten Bedienelement zu gelangen. DafOr bietet sich die Verwendung eines 
InnenraumOberwachungssensors an, wie er beispielsweise zur Erkennung der Sitzbele- 
gung oder Insassenposition in Fahrzeugen durchaus bereits ublich ist, um dementspre- 
15 chend Insassenschutzeinrichtungen frei zu geben bzw. deren Auslosung zu unterdru- 
ckeri. Eine Reihe solcher InnenraumUberwachungssensoren bietet eine ausreichende 
Bildauflosung zur Erkennung der Position der Hand bzw. der Hande des'Bedieners oder 
kann ohne groReren Aufwand in entsprechender Art und Weise weitergebildet werden. 

Die Signalisierungssteuereinheit, die hier vom Spracherkennungssystem eine Suchanfra- 
20 ge des Bedieners hinsichtlich des aufzufindenden Bedienelements zugefuhrt wird, weist 
einen Speicher auf, in dem die Position der Bedienelemente des Fahrzeugs abgespei- 
chert ist und welcher von einem Sensor das Signal zur Beschreibung der Ist-Position der 
Hand bzw. Hande des Bedieners zufuhrbar ist, die dementsprechend ein Sprachsignal an 
den Insassen in Abhangigkeit von der Differenz zwischen Ist-Position der Hand und Han- 
25 de des Insassen und den im Speicher entnehmbaren Positionen des aufzufindenden Be- 
dienelements erzeugt. 

. Die Erfindung soil nachfolgend anhand von Ausfuhrungsbeispielen und Figuren naher 
eriautert werden. Kurze Beschreibung der Figuren: 

Figur 1 Fahrzeug mit Insassen und optischer Signalisierung des gesuchten Be- 

30 dienelements. 

Figur 2 Fahrzeug mit Insassen und in Abhangigkeit der Position der Hande ge- 

steuerter sprachgefuhrter Unterstutzung des Insassen beim Auffinden 
des Bedienelements. 
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Die Figur 1 zeigt einen Insassen 1 in einem Fahrzeug 2, hier beispielsweise der Fahrer, * 
wobei das Verfahren auch fur andere Insassen in Fahrzeugen, seien es Beifahrer, Mitred 
sende im Fond Oder Passagiere in einem Bus, Rugzeug oder in einer Bahn, anwendbar 
ist Das Fahrzeug 2 weist ein Spracherkennungssystem 4 mit einem Mikrofon 3 zur Er- 

5 fassung der akustischen Signale im Fahrzeug 2 auf, wobei hierfOr bereits im Fahrzeug 2 
vorhandene Spracherkennungssysteme genutzt werden kdnnen, sofern diese die MGg- 
lichkeit einer entsprechenden Anpassung an eine Oberwachung auf eine Suchanfrage 
des Insassen 1 hinsichtlich eines aufzufmdenden Bedieneiements aufweisen. Grundsatz- 
Itch kdnnen aber auch andere Gerate mit einem entsprechenden Spracherkennungssys- 

10 tern 4 ausgestattet und dieses Verfahren zur UnterstOtzung des Bedieners beim Auffin- 
den eines Bedieneiements genutzt werden. 

Beim Erkennen einer solchen Suchanfrage 12 durch das Spracherkennungssystem 4. 
wird von einer Signalisierungssteuereinrichtung, hier in Funktionseinheit mit dem Sprach- 
erkennungssystem - ebenfatls a!s 4 gekennzeichnet eine fur den Insassen 1 wahr- 

1 5 nehmbare Signalisierung 7a aktiviert, die dem Insassen 1 die Position des Bedieneie- 
ments 6a anzeigt Die Signalisierungssteuereinheit 4 steuert dabei in diesem AusfOh- 
rungsbeispiel in Figur 1 eine Beleuchtungseinrichtung 7a im Nahbereich des Bedieneie- 
ments 6a, genauer hier sogar die Hintergrundbeleuchtung des gesuchten Bedieneie- 
ments 6a an, und zwar vorzugsweise fQr eine bestimmte Zeitdauer mittels eines Blinksig- 

20 nals, so dass unabhangig von der Zuschaltung der allgemeinen Fahrzeug beleuchtung die 
Signalisierung immer erkennbar bleibt. Dank der blinkenden Hintergrundbeleuchtung 7a 
des Bedieneiements 6a ist dieses vom Insassen schnell wahrnehmbar und kann ohne 
langere Verzogerung im Fahrzeug 2 aufgefunden werden. 

Figur 2 zeigt nun noch skizzenhaft das Verfahren mittels bidirektionaler Sprachsteue- 
25 rung, bei dem. dem Insassen auf seine Suchanfrage 12 vom Spracherkennungssystem 4 
ein die Position des gesuchten Bedieneiements 6b beschreibendes Sprachsignal 7b be- 
reitgestellt wird. Dies kann ein allgemeines vorbereitetes Sprachsignal sein, welches 
beim Erkennen einer solchen Suchanfrage aus einem Speicher ausgelesen und abge- 
spielt wird und dem Insassen 1 anhand von Hinweisen, beispielsweise vordere Reihe auf 
30 der Mittelkonsole die Position des Bedieneiements 6b angibt Selbstverstandlich kann 
dieses beschreibende Sprachsignal 7b auch erganzend zu einer optischen Signalisie- 
rung, wie in Figur 1 gezeigt, verwendet werden. 

Besonders bevorzugt wird dieses Verfahren zudem erganzt, in dem mittels eines Sensors 
5 hier angeordnet in der oberen Ecke zwischen Windschutzscheibe und Dach des Fahr- 
35 zeugs die Position der Hand bzw. HSnde 11 des Insassen erfasst wird. Heute bzw. be- 
reits in naher Zukunft werden Innenraumuberwachungssensoren zurVerfOgung stehen-, 
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die zur Erkennung der Sitzbelegung Oder Sitzposition des Insassen im Fahrzeug vorge- 
sehen sind. Diese Innenraumsensoren 5 kdnnen in vieten Fallen auch zur Erkennung der 
Position der Hand bzw. Hande 11 des Insassen genutzt werden. Dies wird in der DE 197 
53 160 C1 beispielsweise zum Erkennen einer bevorstehenden Unfallsituation des Fahr- 
5 zeuges genutzt, um die Bewegungsgeschwindigkeit der Hande des Fahrers zu erfassen 
und daraus eine bevorstehende Unfallsituation abzuteiten, wenn der Fahrer panikartig 
seine Hande bewegt Hinsichtlich messtechnischer Probleme wird daher auf diese Schrift 
als Beispiel verwiesen. )m vorliegenden Anwendungsfall soil jedoch die Position der Han- 
. de 11 des Insassen 1 zum Auffinden eines Bedienelements 6b genutzt werden, in dem 

1 0 auf eine Suchanfrage des Insassen 1 hinsichtlich eines aufzufindenden Bedienelements 
6b .ein Sprachsignal 7b vom Lautsprecher 8 ausgegeben wird, welches angibt, wie der 
Insasse 1 seine Hande 11 bewegen muss, um zum gesuchten Bedienelement 6b zu ge- 
langen. Dabei wird die Hand 11 des Insassen anhand einfacher vorgegebener Sprach- 
signale 7b schrittweise zum Bedienelement 6b gefOhrt und so die vom Sensor 5 erfasste 

1 5 Ist-Position der Hand 11 des Insassen 1 in Clbereinstimmung'mit dem im Speicher ent- 
nehmbaren Position des aufzufindenden Bedienelements 6b in Obereinstimmung ge- 
bracht Als Sensor 5 zur Erfassung der Position der Hande 1 1 des Insassen 1 eignet sich 
insbesondere ein PMD-Sensor, der neben einem optischen Bild mittels Phasenmodulati- 
on zusatzlich auch ein Entfernungssignal dem jeweiligen Bildpunkt zuordnen kann und so 

20 ein dreidimensionales Bild vom Innenraum des Fahrzeuges erzeugt Alternative Sensor- 
konzepte, notfalls mit einem an der Hand 11 anzubringenden Bezugspunkt sind ebenfalls 
denkbar. Neben der Position des Bedienelements 6b kann das Sprachsignal 7b auch die 
Funktionsweise des Bedienelements 6b naher ertautern, was insbesondere bei Multifunk- 
tionsbedienelementen sinnvoll erscheint. Auch konnen die dem Bedienelement 6b nach- 

25 geordneten Funktionseinheiten in ihrer Funktionsweise beschrieben werden, ggf. auf eine 
entsprechende erganzte Suchabfrage 12 hin. In besonders bevorzugter Weise erlaubt ein 
Spracherkennungssystem 4 in einem Fahrzeug 2 durch Einlesen eines auf einem tragba- 
ren Speichermedium abgelegten Programms. dieses vorinstallierte Spracherkennungs- 
system 4 mit den zusatzlichen Daten Qber die Position der Bedienelemente 6 des Fahr- 

30 zeugs 2 und die fOr die Suchabfrage vereinbarten Sprachsignale aufzurusten, so dass 
ggf. sogar in unterschiedlichen Spracherkennungssystemen einem Insassen 1 beispiels- 
weise von etner Mietwagenfirma entsprechende AntrSge zur Vorbereitung des Spracher- 
kennungssystems 4 zur DurchfOhrung des Verfahrens zur VerfOgung gestellt wird, sofem 
dies im Fahrzeug nicht fest vormontiert ist Durch entsprechende Datenerganzung und 

35 Suchanfragen kann der Insasse 1 quasi eine gesamte Vorstellung der Bedienelemente 6 
des Fahrzeuges 2 erhalten. 
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Grundsatziich kdnnen aber auch andere GerSte mit einem entsprechenden Spracherken- 
nungssystem 4 ausgeslaltet und dieses Verfahren zur UnterstOtzung des Bedieners beim 
Auffinden eines Bedienelements genutzt werden. Insbesondere for Blinde kann dieses 
Verfahren als Zwischenschritt zu einer vollstandigen Sprachsteuerung von GerSten au- 

5 Berst hilfreich sein. So konnen beispielsweise die Position bestimmter Gerate in einem 
definierten Gebiet, bspw. einer Wohnung, einem Hotelzimmer oder ahnlichem abgespei- 
chert und vom (blinden oder auch sehenden) Bediener mittels Suchanfrage abgefragt 
werden. Auch fur diese Anwendung scheint eine Erganzung weiterer Informationen ne- 
ben der Position, also beispielsweise die Ausgabe bestimmter Bedienungsanweisungen, 

10 Sicherheitshinweise oder NutzungsmSglichkeiten sehr sinnvoll und mit entsprechendem 
Speichervolumen im Sprachverarbeitungssystem realisierbar. Oabei kann auch mittels 
eines Spracherkennungssystems jeweils fur eine Mehrzahl von Geraten gemetnsam ge- 
nutzt werden. 
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PatentansprQche 



1) Verfahren zur Unterstutzung eines Bedieners (1) zumindest eines Cerates, insbe- 
5 sondere eines Fahrzeugs (2), beim Aufflnden eines Bedienelements (6a, 6b), indem 

a) mittels eines Spracherkennungssystems (4) akustische Signale (2) im Nahbereich 
des Ger§ts auf eine Suchabfrage (12) des Bedieners (1) hinsichtlich eines aufzufin- 
denden Bedienelements (6a, 6b) Oberwacht werden 

b) und beim Erkennen einer solchen Suchanfrage (12) durch das Spracherkennungs- 
10 system (4) von einer Signalisierungssteuereinheit (4) eine fur den Bediener (1) 

wahrnehmbare Signalisierung (7a, 7b) aktiviert wird, die dem Bediener (1) die Posi- 
tion desgesuchten Bedienelements (6a, 6b) arueigL 

2) Verfahren nach Anspruch 1, wobei die Signalisierungssteuereinheit (4) eine Be- 
leuchtungseinrichtung (7a) im Nahbereich des Bedienelements (6a) aktiviert 

1 5 3) Verfahren nach Anspruch 2, wobei als Beleuchtungseinrichtung (7a) eine Hinter- 
grundbeleuchtung des jeweils gesuchten Bedienelements (6a) aktiviert wird. 

4) Verfahren nach einem der Anspruche 2 Oder 3, wobei die Beleuchtungseinrichtung 
(7a) blinkt. 

5) Verfahren nach Anspruch 1, wobei ein die Position des Bedienelements (6b) be- 
20 schreibendes Sprachsignal (7b) aktiviert wird. 

6) Verfahren nach Anspruch 1, wobei mittels eines Sensors (5) die Position der Hande 
(11) des Bedieners (1) erfasst und Sprachsignale erzeugt werden, die angeben, wie 
der Insasse (1) eine Hand (11) bewegen muss, urn zum Bedienelement (6b) zu ge- 
langen. 



25 7) 



Spracherkennungssystem (4) for Fahrzeuge (2), welches akustische Signale im In- 
nenraum des Fahrzeugs (2) auf eine Suchabfrage des Insassen (1) hinsichtlich ei- 
nes aufzufindenden Bedienelements (6a, 6b) Oberwacht. 
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8) Kraftfahrzeug mit einem Spracherkennungssystem (4) mit Mltteln zur for den Insas- 
sen (1) wahmehmbaren Signalisierung zur Durchfuhrung des Verfahrens nach ei- 
nem der vorangehenden AnsprQche. 

9) Verwendung eines InnenraumOberwachungssensors, insbesondere elnes Sensors 
5 zur Erkennung der Sitzbelegung und/oder Insassenposition, von Fahrzeugen (2) zur 

Erkennung der Position der Hand/Hande (1 1) des Insassen (1). 

10) Signalisierungssteuereinheit(4), 

a) welcher von einem Spracherkennungssystem eine Suchanfrage des Bedieners (1) 
" hinsichtlich eines aufzufindenden Bedienelements (6b) zufuhrbar ist, 

1 0 b) welches einen Speicher aufweist, indem die Position der Bedienelemente (6b) des 
Gerates (2) abgespeichert ist, 

c) welcher von einem Sensor ein Signal zur Beschreibung der Ist-Position der 
Hand/HSnde (1 1 ) des Bedieners (1) zufuhrbar ist, 

d) und welches ein Sprachsignal (7b) an den Bediener (1) in Abhangigkeit von der Ist- 
1 5 Position der Hand/Hande (11) des Bedieners und der dem Speicher entnehmbaren 

Position des aufzufindenden Bedienelements (6b) erzeugt 
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